The Central Limit Thorem(중심 극한 정리; CLT)

어떤 분포를 따르는 sample이든, 그 표본 개수가 매우 커지게 될 때 표본 평균은 항상 Normal Distribution을 따르게 된다는 정리.

각 표본은 $ii d$ 하고 분산이 finite하다는 필요조건이 있어야 한다.

Standardized sample mean: $\frac{n ( X ˉ _{n} - μ )}{σ}$ 이라고 할 때, $n$ 이 무한대로 커짐에 따라 Standard Gaussian distribution을 따르게 된다.

하지만 위 식에서 LLN에 의해 $(\overset{ˉ}{X}_{n} - μ)$ 이 0으로 가게 된다. 이를 방지하기 위해 $n^{p}$ 를 곱해주는데, $p$ 가 어떤 값인지에 따라 $n \to \infty$ 에 의해 위 식이 발산하거나, 0이 되어버릴 수 있다. 그 적절한 수준이 $p = 1/2$ 이다. 따라서 $n$ 을 곱해준다.

혹은 위 식을 $\frac{( X ˉ _{n} - μ )}{σ / n}$ 이라고 본다면, $\frac{σ}{n}$ 은 Weak Law of Large numbers 증명 부분 혹은 Variance of Sample Mean에 따라 sample mean의 Variance이므로 단순히 표본 평균의 표준 편차로 나눠준 것이라 볼 수 있다.

Proof

둘의 MGF가 동일함을 보이면 된다.

$Z = \frac{n ( X ˉ _{n} - μ )}{σ}$ 라고 하면,

M_{Z} (t) = E [exp (\frac{( X _{1} - μ ) + ( X _{2} - μ ) + \dots + ( X _{n} - μ )}{σ n} t)]

이 때 $X_{j}$ 는 각각 독립이므로 기대값끼리 서로 곱할 수 있다.

= E [exp (\frac{X _{j} - μ}{σ n})]^{n} = (M_{X_{j}} (\frac{t}{n}))^{n}

하지만 위에서 단순히 $n \to \infty$ 를 하면 $M_{X_{j}} (0)^{n} = 1^{n}$ 으로 바뀌어 1의 값으로 수렴해버린다. 이를 위해 위 식에 log를 쒸우고 여러 번 L'Hôpital's Rule을 적용한다.

L = n \to \infty lim \frac{ln ( M ( \frac{t}{n} ))}{1/ n} = y \to 0 lim \frac{ln ( M ( t y ))}{y ^{2}} when y = 1/ n

이를 계속 적용하면 $M_{Z} (t) = exp (t^{2} /2)$ 라는 결론이 나오고, 이는 Standard Gaussian distribution과 일치한다.

정규 분포의 이항 분포로의 근사

이항 확률변수가 iid한 베르누이 확률 변수의 합이라는 것이라는 걸 생각하면 중심 극한 정리를 적용할 수 있다.

즉, $X$ 를 베르누이 확률 변수라고 하면

P (a \leq X \leq b) = P (\frac{a - n p}{n pq} \leq \frac{X - n p}{n pq} \leq \frac{b - n p}{n pq}) \approx P (\frac{a - n p}{n pq} \leq Z \leq \frac{b - n p}{n pq}) = Φ (\frac{b - n p}{n pq}) - Φ (\frac{a - n p}{n pq})